Parameter Tying

Definition / 定义

参数共享（或参数绑定）：在机器学习/深度学习模型中，让多个位置、层或结构使用同一组参数（即同一权重），以减少参数数量、降低过拟合风险，并引入有用的归纳偏置（例如“不同位置应当用相同规则处理”）。该术语在神经网络（如卷积、循环网络、Transformer 的某些变体）与概率模型中都常见。

Pronunciation / 发音

/ pəˈræmɪtər ˈtaɪɪŋ /

Examples / 例句

Parameter tying reduces the number of weights in the model.
参数共享会减少模型中的权重数量。

In convolutional neural networks, parameter tying across spatial locations helps the network detect the same pattern anywhere in an image.
在卷积神经网络中，把不同空间位置的参数进行共享，有助于网络在图像的任何位置检测到相同的模式。

Etymology / 词源

parameter 源自希腊语 *para-*（“旁、辅助”）与 metron（“度量”），引申为“用于描述系统的量”。tying 来自动词 tie（“系、绑”），在技术语境中常表示“把多个对象绑定为同一个/共享同一资源”。因此 parameter tying 字面义就是“把参数绑在一起（让它们相同）”。

Related Words / 相关词

• Weight Sharing
• Parameter Sharing
• Regularization
• Overfitting
• Convolution
• Inductive Bias
• Constraints

Literary Works / 文学作品

• Ian Goodfellow, Yoshua Bengio, Aaron Courville — Deep Learning（常在讲卷积网络/结构化建模时讨论参数共享/绑定的思想）
• Christopher M. Bishop — Pattern Recognition and Machine Learning（在图模型、参数约束与正则化相关内容中可见类似“参数绑定/共享”的表述）
• Daniel Jurafsky & James H. Martin — Speech and Language Processing（在神经网络用于 NLP 的章节中常提到共享嵌入或共享权重等与 parameter tying 密切相关的做法）
• Diederik P. Kingma & Jimmy Ba — Adam: A Method for Stochastic Optimization（论文本身不以该术语为主题，但常与深度学习训练实践并读；相关材料中常出现共享参数的工程与建模讨论）